我们研究了Adagrad-norm的收敛速率，作为自适应随机梯度方法（SGD）的典范，其中，基于观察到的随机梯度的步骤大小变化，以最大程度地减少非凸，平稳的目标。尽管它们很受欢迎，但在这种情况下，对自适应SGD的分析滞后于非自适应方法。具体而言，所有先前的作品都依赖以下假设的某个子集：（i）统一结合的梯度规范，（ii）均匀遇到的随机梯度方差（甚至噪声支持），（iii）步骤大小和随机性之间的有条件独立性坡度。在这项工作中，我们表明Adagrad-norm表现出$ \ Mathcal {O} \ left（\ frac {\ mathrm {poly} \ log（t）} {\ sqrt {\ sqrt {t}}} \ right）的订单最佳收敛率$在$ t $迭代之后，在与最佳调整的非自适应SGD（无界梯度规范和仿射噪声方差缩放）相同的假设下进行了$，而无需任何调整参数。因此，我们确定自适应梯度方法在比以前了解的更广泛的方案中表现出最佳的融合。
translated by 谷歌翻译